Ab
1326 sind verschiedene Burgmannen genannt.
Nachdem die Schildmauer mit den beiden Flankentürmen nebst Vorhof der Kernburg errichtet worden war, wurde der Weiterbau auf Grund politischer und finanzieller Schwierigkeiten eingestellt. Bereits 1331 starb Wilhelm I.
Die kleine, befestigte Siedlung zu Füßen der Burg wird
1352 als Tal bezeichnet. Ebenfalls 1352 kam es zwischen den zerstrittenen Brüdern Wilhelm II. und Eberhardt V. von Katzenelnbogen, den späteren Erbauern der Burgen
Schwalbach und
Katz, zur Teilungsurkunde. Eberhard V. wurden die bestehenden Teile zugesprochen. Graf Wilhelm II. ließ – in Verkehrung der ursprünglichen Planung – nach 1352 den bisherigen östlichen Vorhof zur neuen, eigentlichen Burg ausbauen, womit die Schildmauer bedeutungslos wurde. Spätestens
1385 ist der Ausbau vollendet.
Mit dem Aussterben der Grafen von Katzenelnbogen kam die Burg
1479 an den Landgrafen von Hessen.
In dessen Auftrag fertigte
1607 Wilhelm Dilich detaillierte Darstellungen der Burg an, die heute noch eine wichtige Grundlage der Forschung bilden. Nach Zerstörungen und Wiederherstellung
1649-51 blieb sie auch bei allmählich einsetzendem Verfall bis
1806 Amtssitz und hessische Festung, bevor sie
1816 an Nassau kam. In Folge fortschreitenden Verfalls stürzte 1813 der südliche Schildmauerturm ein.